PCap: Personalized Retrieval-Stage Diversity Capping in Facebook Marketplace
个性化检索阶段多样性上限框架:Facebook Marketplace 的 PCap
🧭 检索阶段个性化多样性约束 ★ 深度解读
Meta
用 Shannon 熵将用户分桶,并在检索阶段施加个性化类目上限,在线 A/B 提升浏览深度与点击
📌 工作参考价值(4 点)
- 在检索阶段做低成本多样性:按类目或内容分组施加 cap,在 shard 扫描和聚合层直接限制单组候选数,避免把所有多样性任务都压到 ranker。适合多源召回、高延迟敏感的大规模推荐系统。
- 用户多样性建模用 Shannon 熵而非 HHI:熵能纳入点击数量权重,避免只点 4 个类目和点 10 个类目被归一化成同样高分。归一化后等频分 6 桶,既保留个性化又降低短期噪声影响,工程上稳。
- 高维参数不要手动调:多个桶乘数、source multiplier 组合巨大,用固定分配流量的在线顺序网格搜索 PTS,每轮收缩范围,比贝叶斯优化更透明、更适配现有 QE 基础设施。
- 个性化多样性资源应“边缘重”:实验显示中间桶用户中性配置无收益,低多样性用户需放宽 cap,高多样性用户需收紧 cap。个性化多样性只对偏好极端用户显著有效,中间人群不划算。